Библиотека собеса по Data Science | вопросы с собеседований

Хотим ли мы иметь постоянную скорость обучения или лучше менять ее в ходе обучения?

Как правило, рекомендуется начинать скорость обучения с относительно высокого значения, а затем постепенно уменьшать скорость обучения, чтобы модель не превышала минимальные значения, и в то же время мы не хотим начинать с очень низкой скорости обучения, поскольку обучение модели займет слишком много времени.

Существует множество доступных методов снижения скорости обучения. Например, в PyTorch вы можете использовать функцию под названием StepLR, которая снижает скорость обучения каждого параметра на значение гаммы, которое мы должны передать через аргумент, после n числа эпох, которое вы также можете установить через аргумент функции с именем epoch_size.

www.tg-me.com/sa/Библиотека собеса по Data Science | вопросы с собеседований/com.ds_interview_lib/27

1.4K viewsAug 30, 2023 at 07:18

Хотим ли мы иметь постоянную скорость обучения или лучше менять ее в ходе обучения?

Как правило, рекомендуется начинать скорость обучения с относительно высокого значения, а затем постепенно уменьшать скорость обучения, чтобы модель не превышала минимальные значения, и в то же время мы не хотим начинать с очень низкой скорости обучения, поскольку обучение модели займет слишком много времени.

Существует множество доступных методов снижения скорости обучения. Например, в PyTorch вы можете использовать функцию под названием StepLR, которая снижает скорость обучения каждого параметра на значение гаммы, которое мы должны передать через аргумент, после n числа эпох, которое вы также можете установить через аргумент функции с именем epoch_size.

BY Библиотека собеса по Data Science | вопросы с собеседований